Duệ là hậu duệ của Thừa tướng Vi Hiền nhà Tây Hán, đời đời là đại tộc ở vùng Tam Phụ [2]. Ông nội là Vi Huyền, ẩn cư ở núi Chung Nam thuộc Trường An. Lưu Tống Vũ đế bắc phạt Hậu Tần, lấy chức vụ Thái úy duyện mời gọi, Huyền không nhận lời. Bác là Vi Tổ Chinh, cuối đời Lưu Tống được làm đến Quang lộc huân. Cha là Vi Tổ Quy, được làm đến Ninh viễn trưởng sử.

Duệ nhờ chăm sóc mẹ kế mà được tiếng là có hiếu. Anh trai của Duệ là Toản, Xiển đều sớm nổi tiếng, trong các anh em thì Toản, Duệ hiếu học, còn Xiển có tiết tháo. Vi Tổ Chinh dần được thăng đến chức quận thú, thường đem Duệ đến công sở, xem ông như con. Bấy giờ anh vợ Vương Tranh, em con dì Đỗ Uẩn đều nổi tiếng ở quê nhà; Vi Tổ Chinh hỏi Duệ rằng: “Mày so với Tranh, Uẩn thế nào?” Duệ khiêm tốn không dám trả lời, Tổ Chinh nói: “Văn chương của mày có thể kém hơn một chút, nhưng học thức thì vượt xa; còn nói đến phụng sự quốc gia, làm nên công nghiệp, bọn chúng đều không thể theo kịp mày vậy.” Anh họ bên mẹ là Đỗ Ấu Văn được làm Lương Châu thứ sử, gọi Duệ cùng đi. Đất Lương giàu có, người đến đấy phần nhiều trở nên tha hóa; Duệ bấy giờ còn trẻ tuổi, một mình vẫn giữ được tiếng thanh liêm.